Khi tầm quan trọng của ngôi làng tăng lên, các mối lo ngại về an ninh đã được giải quyết bằng cách xây dựng các công sự từ năm 1600 và công sự cuối cùng được xây dựng là tại Santigao và Fernadao vào năm 1753. Có tổng cộng 10 công sự khác nhau đã được xây dựng trên những ngọn đồi phía sau cảng Portobelo, khiến nó trở thành điểm kiểm soát ven biển nghiêm ngặt nhất của Tây Ban Nha ở châu Mỹ.[5][6] Nhiều công sự bị tấn công và trở thành những đống gạch vụn; chỉ có các công sự được xây dựng vào năm 1753 mới tồn tại được trong tình trạng tốt, khi đô đốc Vernon bỏ qua Portebello trong trận chiến cuối cùng. Trước đó, Francis Drake đã không thành công trong việc tấn công pháo đài khi ông không qua khỏi cơn sốt và qua đời trong khu vực vịnh Caribe. Nhưng trước đó ông đã tiêu hủy Nombre De Dios vào đầu năm 1596. Năm 1597, Đế quốc Tây Ban Nha quyết định củng cố cảng biển vì ngân khố được chuyển đến Portobelo. Pháo đài San Felipe được xây dựng đầu tiên ở lối vào bến cảng và được củng cố bằng 35 khẩu pháo. Pháo đài San Jeronimo được xây dựng ở phía đông và còn pháo đài Santiago de la Gloria ở phía tây của vịnh. Những pháo đài này được xây dựng với những bức tường bằng đá san hô, cứng như đá granit.[4] Năm 1668, Sir Henry Morgan xứ Wales đã tấn công Portobelo, sử dụng thang để băng qua bức tường của công sự. Trong một tháng cướp biển chiếm đóng, không có thiệt hại đáng kể nào đối với các cấu trúc phòng thủ. Năm 1688, cướp biển Anh Bartholomew Sharp và Pháp La Sound đã tấn công các công sự và gây ra thiệt hại nhất định. Các cuộc tấn công vào năm 1744 khiến văn phòng hải quan đã bị hư hại nghiêm trọng.[5]

Trong hơn hai thế kỷ sau khi các công sự cuối cùng được xây dựng vào năm 1753, toàn bộ các công sự bị bỏ bê khiến thảm thực vật phát triển quá mức cho đến khi Chính phủ Panama quyết định khôi phục lại chúng.[6] Sau khi Panama trở thành một quốc gia độc lập, Tây Ban Nha đã từ bỏ Pháo đài San Lorenzo vào năm 1821. Sau khi sáp nhập Panama với Columbia, pháo đài được sử dụng làm nhà tù sau đó bưu điện để vận chuyển thư từ vương Quốc Anh đến châu Mỹ Latinh. Tại thị trấn Chagres, bên dưới pháo đài và bờ tây của sông Chagres là một thiên đường cho những người thích phiêu lưu trong Cơn sốt vàng California năm 1849. Với sự ra đời của đường sắt vào năm 1850, tầm quan trọng của tuyến đường xuyên đại dương ở cửa sông Chagres giảm dần.[1]

Vào tháng 7 năm 2012, UNESCO đã liệt Các công sự giáp vịnh Caribe của Panama: Portobelo-San Lorenzo vào danh sách di sản thế giới bị đe dọa do những lo ngại về môi trường, công tác bảo tồn không đầy đủ và sự phát triển đô thị bên bờ biển không được kiểm soát.[7]